Activités (Activities)

Plus récente (Latest)

False

Activités UIAutomation

Dernière mise à jour 3 avr. 2024

Configuration avancée du descripteur

Pour plus d'informations sur l'utilisation des fonctionnalités plus avancées de l'écran de sélection, regardez la vidéo ci-dessous.

Doublons

L'indication d'une cible peut produire des doublons, qui sont d'autres éléments d'IU qui sont perçus comme extrêmement similaires à l'élément d'IU cible et qui peuvent entraîner l'échec de l'automatisation au moment de l' Runtime. Lorsque des doublons sont trouvés, ils sont mis en surbrillance en jaune et comportent un libellé au-dessus d'eux contenant une lettre qui correspond à la méthode de ciblage qui a trouvé chaque doublon :

L’un des meilleurs moyens d’éviter les doublons consiste à indiquer une ancre.

Ancres

Pour créer un descripteur fiable, il est recommandé d'indiquer une ancre après l'indication de la cible. Vous pouvez indiquer jusqu'à trois ancres pour une cible. Les ancres peuvent être trouvées dans plusieurs scénarios, comme décrit ci-dessous :

Ancre trouvée automatiquement

Après avoir indiqué une cible, une tentative est effectuée pour identifier automatiquement une ancre pour celle-ci.

Attention : si une ancre n'est pas trouvée avec une fiabilité à 100 % ou si des doublons sont trouvés, elle n'est pas considérée comme une ancre automatique.

Si une ancre automatique est trouvée avec succès, elle est mise en surbrillance en bleu, et l'assistant Options de sélection confirme que la cible et son ancre sont correctes.

Méthode d'identification de l'ancre

Dans cette section, vous pouvez découvrir plus de détails techniques sur la méthode selon laquelle cette recherche est effectuée.

Une fois qu’une cible est indiquée, le type de l’élément d’IU indiqué est identifié. Les éléments et directions suivants sont recherchés :

Bouton - à l'intérieur de l'élément.
Case à cocher - à droite de l'élément.
Liste déroulante - à gauche et au-dessus de l'élément.
Zone de saisie - à gauche et au-dessus de l'élément. Dans le cas de l'automatisation du navigateur, le libellé est également recherché à l'intérieur de la zone de saisie, à la recherche de l'attribut AreaLabeledBy . Si ce libellé n'est pas identifié, un élément avec les tag=label et for='id of the input box' est recherché.
Bouton radio : à droite de l'élément.
Image - à droite et en dessous de l'élément.

Selon le type d'élément identifié, une ancre correspondante est automatiquement recherchée pour l'élément.

Une ancre identifiée automatiquement se présente sous la forme d'un élément de texte qui est toujours présent à proximité de l'élément cible et peut donc être utilisé pour identifier l'élément au moment de l' Runtime avec plus de précision.

Si aucune des directions ci-dessus ne fournit de résultats, un cas générique est utilisé, qui recherche dans la hiérarchie des éléments une ancre appropriée.

Ajouter manuellement une ancre

Si une ancre n'est pas automatiquement trouvée et ajoutée à la cible spécifiée, vous en êtes informé par l'assistant Options de sélection, comme illustré dans la capture d'écran suivante :

Dans cette situation, vous pouvez sélectionner manuellement une ancre pour votre élément cible. Lorsque vous survolez un autre élément, il est surligné en bleu et connecté par une ligne à la cible que vous avez sélectionnée. Pour sélectionner l'ancre souhaitée, vous pouvez simplement cliquer sur le texte que vous souhaitez utiliser comme ancre.

Pointer sur le menu

Vous pouvez également modifier un élément spécifique (qu'il s'agisse d'une cible ou d'une ancre) en accédant au menu qui s'affiche lorsque vous survolez l'élément cible. Ce menu comporte plusieurs options :

Le ferme le processus d'indication et enregistre les modifications que vous avez apportées.

Le vous permet de cibler des éléments indépendamment de leur contenu textuel spécifique. Cela peut être utile lorsque vous essayez de sélectionner le premier élément d’une liste de recherche lorsque vous ne savez pas exactement avec quoi la liste va être remplie, ou lorsque vous interagissez avec un élément dynamique dont le libellé est modifié pour diverses raisons. L’utilisation de cette fonctionnalité lors de l’indication d’une cible utilise uniquement la méthode du Sélecteur de correspondances approximatives pour l’identification, et ôte le sélecteur de correspondances approximatives pour s’assurer que l’élément est toujours ciblé, indépendamment des modifications de l’étiquette.

En cliquant sur bouton, vous pouvez sélectionner un élément d'IU adjacent qui agira comme ancre supplémentaire. Vous pouvez indiquer jusqu'à trois ancres pour n'importe quelle cible.

Le développe la section cible dans les Options de sélection, vous permettant de configurer les méthodes de ciblage utilisées pour le descripteur actuel.

Le supprime la cible que vous avez indiquée et vous permet d'en choisir une autre.

Configuration du descripteur

Options

La section Options peut être développée pour afficher les options suivantes :

Appliquer automatiquement les modifications (Auto-apply changes ) : lorsque cette option est sélectionnée, les modifications sont appliquées automatiquement aux éléments cible et ancre.
Sites Web réactifs - Lorsque cette option est sélectionnée, permet à l'ancre de se déplacer automatiquement de la gauche vers le haut de la cible ou du haut vers la gauche de la cible, vous permettant ainsi d'automatiser les sites Web réactifs.
Visibilité de l'élément : vérifie si l'élément d'IU est visible ou non. Trois options sont disponibles dans le menu déroulant :
- Aucun : ne vérifie pas la visibilité.
- Interactif (pour le Sélecteur de correspondances approximatives) : option par défaut. Vérifie si l'élément est potentiellement visible, en ignorant le défilement de la page et les obstructions par d'autres applications, ou le fait que l'application est réduite. Cette vérification est utile lorsque vous essayez de vous assurer que vous ne ciblez pas des éléments invisibles qui existent dans le DOM mais qui sont masqués.
- Entièrement visible : garantit que l'élément d'IU est visible à l'écran.

Sélecteur de fenêtre

La section Sélecteur de fenêtres ( Window Selector) peut être développée pour afficher et modifier le sélecteur de l’application cible indiquée. Vous pouvez également utiliser le bouton Ouvrir dans UI Explorer (Open in UI Explorer ) pour modifier le sélecteur de fenêtre dans UI Explorer.

Cible

Le processus d'arrière-plan relatif à la recherche d'un élément d'IU utilise plusieurs méthodes de ciblage :

Ces méthodes de ciblage sont redondantes les unes par rapport aux autres ; un classement existe en fonction des méthodes de ciblage utilisées. La hiérarchie prend en compte, pour chaque méthode de ciblage, la puissance de ciblage ainsi que la résilience aux modifications de l'interface utilisateur. Les méthodes pour trouver l'élément d'IU sont classées de la manière suivante :

La méthode de ciblage principale est représentée par des sélecteurs : Sélecteur strict ou Sélecteur approximatif.
La méthode de ciblage secondaire est Computer Vision.
La troisième méthode de ciblage est Image (désactivée par défaut).

L'icône s'affiche à côté de la méthode de ciblage principale au moment de la conception, simulant le scénario au moment du runtime.

Paramètres de projet par défaut pour les méthodes de ciblage à travers les technologies

Le tableau ci-dessous affiche les paramètres de projet par défaut pour le ciblage des méthodes selon différentes technologies.

Méthodes de ciblage	Applications de bureau	Navigateurs Web	Java	SAP
Sélecteur strict
Sélecteur de correspondances approximatives
Computer Vision
Image

Paramètre du projet : Attendre la méthode de ciblage principale jusqu'à l'expiration du délai

Le paramètre de projet Attendre la méthode de ciblage principale jusqu'à l'expiration du délai (Paramètres du projet > UIAutomation Modern), qui est activé par défaut dans les nouveaux projets à partir de la version 23.10.3 du package d'activités et qui peut être activé manuellement pour les projets créés avant cette version du package d'activités , offre à la méthode de ciblage principale un délai supplémentaire pour utiliser son délai d'attente complet jusqu'à ce qu'une méthode de ciblage de secours puisse être utilisée.

Si l'une des méthodes de ciblage principales parvient à trouver l'élément d'IU avant l'expiration du délai, elle sera utilisée comme méthode d'interaction avec l'élément d'IU. Le sélecteur strict est la première méthode de ciblage à rechercher l’élément d’IU, suivie juste après du sélecteur de correspondances approximatives. Le sélecteur strict a la priorité sur le sélecteur de correspondances approximatives.

Lorsque l'élément d'IU n'a pas été trouvé par les méthodes de ciblage principales avant l'expiration du délai d'attente, et si après toutes les nouvelles tentatives dans le délai imparti ni le sélecteur strict, ni le sélecteur de correspondances approximatives n'ont trouvé l'élément d'IU, alors les deuxième et troisième méthodes de ciblage vont commencer à rechercher l’élément d’IU dans le délai qui leur est imparti.

Ce paramètre de projet apporte également plus de prévisibilité et de visibilité dans les problèmes liés au sélecteur afin que vous puissiez avoir un meilleur contrôle sur votre ciblage des éléments d'IU, tout en ayant également la solide solution de repli fournie par Computer Vision.

Si vous désactivez ce paramètre de projet, toutes les méthodes de ciblage seront combinées en un seul et même délai d'attente pour trouver l'élément d'IU, en appliquant la logique hiérarchique : une cible trouvée par une méthode de ciblage de classement inférieur sera uniquement utilisée si rien n'a été trouvé par les méthodes de ciblage plus haut classées.

Paramètre du projet : Afficher les correspondances les plus proches dans le message d’erreur « Élément introuvable »

L'option Afficher les correspondances les plus proches dans le paramètre de projet du message d'erreur « Élément introuvable » (Project Settings > UI Automation Modern) est activée par défaut dans les nouveaux projets à partir du package d'activités version 23.10.3 et peut être activée manuellement pour les projets créés avant. la version du package d’activités. Lorsque ce paramètre est activé, si un sélecteur échoue, un avertissement s'affiche dans les journaux présentant la méthode utilisée pour trouver l'élément d'IU, ainsi que dix suggestions des correspondances les plus proches qui peuvent être utilisées pour remplacer le sélecteur défectueux.

Il n'est pas recommandé de modifier manuellement le descripteur, car l'ensemble de ce processus a été conçu pour être utilisé facilement par l'utilisateur et devrait fournir de bons résultats sans nécessiter de configuration avancée. Néanmoins, si vous souhaitez configurer des fonctionnalités plus avancées pour votre descripteur, vous pouvez activer, désactiver et modifier les méthodes de ciblage.

Sélecteur strict

Les sélecteurs sont des fragments XML qui contiennent les attributs des éléments d'IU et leurs parents. Les sélecteurs sont utilisés pour cibler les éléments de l’interface utilisateur à l’écran, en les inspectant ainsi que leurs attributs, et en les faisant correspondre avec les attributs du sélecteur. Vous pouvez en savoir plus sur ce qu'est un sélecteur dans l'écosystème UiPath en consultant cette page.

Le sélecteur strict de l’élément cible peut être modifié à partir de sa section dédiée dans la fenêtre Options de sélection. Vous pouvez également utiliser le bouton Ouvrir dans UI Explorer (Open in UI Explorer ) pour modifier le sélecteur dans UI Explorer.

Le champ Sélecteur strict prend en charge l'utilisation et la création de variables et d'arguments à partir du menu contextuel (accessible en cliquant avec le bouton droit).

Vous pouvez également sélectionner une partie du sélecteur et utiliser le menu contextuel pour le convertir directement en une variable pré-remplie avec votre sélection.

Vous pouvez également sélectionner une variable déjà créée dans le menu déroulant Nom de la variable et l'utiliser dans votre sélecteur.

La case à cocher Remplacer la valeur par défaut ( Override default value ) vous permet de remplacer la valeur de votre variable prédéfinie par votre sélection actuelle.

Le bouton Confirmer (Confirm) permet d'enregistrer les modifications que vous avez apportées dans votre sélecteur.

Les raccourcis clavier suivants sont disponibles :

Ctrl+Space: choisir la variable
Ctrl+Shift+Space: choisir l'argument
Ctrl+K: créer une variable
Ctrl+M: créer un argument

Important :

S'il existe une variable et un argument portant le même nom, la variable est toujours utilisée par défaut lors du runtime.

Les arguments dont les noms sont identiques à des variables sont masqués dans le menu de sélection de variables de l'écran de sélection.

Les modifications effectuées avec des variables et des arguments peuvent être propagées dans toutes les autres instances où elles se trouvent. Par exemple, si une variable est utilisée à la fois dans les champs Sélecteur strict (Strict selector) et Sélecteur approximatif (Fuzzy selector), sa modification dans l'un des champs génère un message qui vous informe que la même valeur a été trouvée dans un autre champ, et vous offrant la possibilité de remplacer toutes les instances par la nouvelle valeur.

Les sélecteurs stricts prennent également en charge les caractères génériques, qui peuvent être utilisés pour remplacer zéro ou plusieurs caractères dans une chaîne. Pour en savoir plus sur cette fonctionnalité, cliquez ici.

Sélecteur de correspondances approximatives

Le sélecteur approximatif est très similaire au sélecteur strict, à la différence que ses attributs correspondent à une correspondance approximative plutôt qu’à une correspondance parfaite. Cela signifie qu'un sélecteur approximatif peut générer plusieurs éléments, contrairement au sélecteur strict qui ne génère qu'un seul élément à la fois.

Le Sélecteur approximatif peut être modifié à partir de sa section dédiée dans la fenêtre Options de sélection.

La précision des correspondances du sélecteur de correspondances approximatives est basée sur l’algorithme de distance de Levenshtein, afin de calculer la similarité des sélecteurs. La valeur par défaut est de 0,5 et peut être configurée à partir du curseur Précision, ou bien directement à partir du champ de saisie en entrant une valeur valide. La précision correspondante peut être définie sur une plage allant de 0,4 à 1 ; une valeur plus basse indique un degré d'approximation plus élevé, ce qui signifie que le sélecteur de correspondances approximatives va générer davantage d'éléments, et une valeur plus élevée révèle un degré d'approximation moins élevé, ce qui signifie que le sélecteur de correspondances approximatives va générer moins d'éléments.

Tout comme le Sélecteur strict, le champ Sélecteur approximatif prend en charge l'utilisation et la création de variables et d'arguments et prend également en charge les caractères génériques. Pour plus de détails, reportez-vous aux informations fournies ci-dessus.

Si l'élément indiqué contient du texte, le texte s'affiche dans la zone de saisie sous la fenêtre d'édition du Sélecteur de correspondances approximatives. Si du texte s'affiche dans cette zone de saisie, lors de l' Runtime , il doit être trouvé dans l'élément lui-même pour être considéré comme une correspondance.

Le menu déroulant à côté de la zone de saisie contient les options suivantes :

Text is/InnerText is/FullText is (selon la méthode d'extraction de texte utilisée) : affiche le texte extrait ; la meilleure méthode d'extraction est automatiquement identifiée et il est recommandé de l'utiliser.
Ignorer le texte (Ignore text ) - Ignore le texte spécifié dans la zone d'entrée.

Computer Vision

Computer Vision est un moteur basé sur l'IA qui permet aux robots UiPath de voir et de comprendre chaque élément d'IU sur un écran d'ordinateur. Computer Vision améliore le ciblage : lorsque le pilote ne parvient pas à « voir » certains éléments de l'interface utilisateur, Computer Vision peut activer UI Automation. Il augmente ainsi la fiabilité et la résilience aux modifications pour les automatisations basées sur l'interface utilisateur, et constitue une puissante solution de secours pour les autres méthodes de ciblage.

Image

Si l’automatisation de l’image est utilisée pour votre cible, vous pouvez également afficher la capture d’écran de l’élément, ainsi qu’ajuster la précision de l’image. La valeur par défaut est de 0,8 et peut être configurée à partir du curseur Précision ou directement à partir du champ d'entrée en saisissant une valeur valide. La précision peut être définie dans une plage de 0,4 à 1. Pour en savoir plus, consultez la section Automatisation des images et des textes .

Si vous souhaitez définir des cibles contenant uniquement des images, vous pouvez utiliser la sélection de la région de l'image (F3) ou tracer un cadre de sélection de la zone que vous souhaitez utiliser comme cible/ancre tout en indiquant.

Vous pouvez également utiliser l'actualisation pour actualiser manuellement l'image que vous avez sélectionnée, au cas où l'image de l'élément aurait changé depuis qu'il a été indiqué.

La méthode de ciblage Image est désactivée par défaut dans les paramètres du projet.

Pour l'activer au niveau du projet, accédez à Paramètres du projet > UI Automation Modern > Méthodes de ciblage - Applications de bureau > Méthodes de ciblage - Navigateurs web / Méthodes de ciblage - Java / Méthodes de ciblage - SAP (en fonction du type d'application que vous souhaitez automatiser) > Image > sélectionnez Vrai (True).

L'élément doit être valide pour pouvoir activer la méthode sur un élément spécifié.

Texte natif

Si vous avez coché la case Activer le texte natif ( Enable Native text ) lors de l'indication de l'élément, la méthode de ciblage Texte natif (Native Text) est utilisée. Cette méthode vous permet d’utiliser tous les libellés de texte identifiés avec la méthode Native pour identifier l’élément avec lequel vous souhaitez interagir.

Le libellé de texte identifié grâce à cette méthode peut être modifié à partir de sa section dédiée, et vous pouvez spécifier si vous souhaitez que le texte soit sensible à la casse ou non en utilisant le bouton Activer/Désactiver la sensibilité à la casse ( Toggle case sensitive ).

Modification hors ligne

Lorsqu'une application n'est plus ouverte, mais que vous souhaitez modifier son descripteur, sélectionner Modifier la cible (E) dans le menu contextuel situé dans le corps de l'activité vous invite à Réessayer, Modifier hors ligneou Annuler.

La sélection de l'option Modifier hors ligne (Edit offline) ouvre l'écran de sélection en mode d'édition hors ligne. En mode d'édition hors ligne, vous ne pouvez pas ajouter d'ancres, valider le descripteur ou d'autres fonctionnalités qui nécessitent une application en direct.

Validation du descripteur

Le processus de validation garantit que toutes les combinaisons de méthodes de recherche pour la cible fonctionnent correctement. Vous pouvez valider votre sélection en utilisant le bouton Valider (Valider) dans l'écran de sélection.

Si vous disposez d’une paire cible-ancre, chacune d’elles utilise toutes les méthodes disponibles de ciblage. Pour trouver la cible finale, toutes les combinaisons possibles pour chacun de ces éléments sont associées aux éléments à l'écran, et un score est attribué après la correspondance.

Après avoir effectué la validation, si des doublons sont trouvés, ils sont mis en surbrillance dans l'application cible. Si aucun doublon n'est trouvé, des icônes apparaissent à côté des méthodes de ciblage, vous informant de l'état de chaque méthode de ciblage dans la situation donnée. Les symboles suivants sont utilisés :

- la méthode de ciblage la plus rapide

- la méthode a fonctionné, mais n'était pas la plus rapide